Insights Generator: Systematic Corpus-Level Trace Diagnostics for LLM Agents
LLM Agent 大规模轨迹诊断系统 Insights Generator
🧭 Agent 多智能体诊断与优化 ★ 深度解读
Scale AI
多智能体系统通过迭代假设-验证循环，从海量执行轨迹中自动发现并量化系统性行为模式，生成有证据支撑的诊断报告
📌 工作参考价值（4 点）
- 大规模轨迹分析的工程参考：将轨迹数据预处理成结构化 Parquet，构建 schema 缓存和向量索引，Agent 只通过 Python REPL 调用统计工具而非直接读取原始文本，可大幅降低上下文消耗，适用于电商 Agent 日志的海量诊断。
- 假设-验证分离的 Agent 角色设计：Scout 负责在小样本中探索模式提出候选假设，Investigator 在全量数据上进行统计验证并计算效应量（p 值、odd ratio），这种分工可迁移至推荐系统 Agent 的 A/B 实验诊断或行为差异分析。
- 报告驱动的 scaffold 优化：人类专家使用 IG 报告后，scaffold 性能提升 30.4 pp（对比无报告基线），且报告深度与证据质量直接影响修改效率；在自动优化循环中，每轮重新生成分析报告可以避免纯 scaffold 搜索的退化。可借鉴该闭环思想，将生成式推荐或电商 Agent 的离线评估日志自动转化为 prompt 或工具链的改进建议。
- 评估框架的复用：提出的四维度评估（覆盖度、配对胜率、质量评分、人工干预提升）可作为自建 Agent 诊断系统效果的度量标准，尤其适合验证诊断报告对工程师开发效率的实际价值。